Divergence based Ranked Preference Alignment for LLMs
基于f散度的排序偏好对齐方法（f-RPO）
🧭 LLM 排序偏好对齐 · f-divergence ★ 深度解读
Purdue University · Michigan State University
将f-divergence对齐框架扩展到排序偏好，提出f-RPO，在排名恢复和生成质量上优于排序baseline
📌 工作参考价值（4 点）
- 可直接利用用户点击/转化排序数据训练LLM对齐策略：f-RPO的目标函数形式简单（TV/RKL变体）：L_TV = ½ E[Σ_i ρ_i(−σ(r_i) + Σ_{j>i} q(j|i) σ(r_j))]，用隐式奖励 r=β log(π_θ/π_ref)，无需显式reward model，可嵌入现有DPO流程。
- 构造排序数据时，采用异质生成器（不同温度/模型）产生候选，再由reward model打分并过滤低置信度样本（最小相邻margin≥0.5），可显著提升排序监督质量，适合电商场景下用LLM-as-judge批量生成偏好数据。
- 权重设计ρ_x(i)∝k−i, q_x(j|i)∝j−i 天然满足rank-favored条件，且理论保证排序一致性；这种高排名更大权重的列表级损失可直接迁移到学习排序任务。
- 方法用LoRA微调0.5B-9B小模型即获得明显排序能力提升，适合在广告/推荐轻量级模型上部署，可作为生成式推荐（如Semantic ID排序）的对齐模块。